从TPU v1到Trillium TPU,<span style='color:red'>苹果</span>等科技公司使用谷歌TPU进行AI计算
  7月30日消息,苹果公司周一在一篇技术论文中表示,支撑其人工智能系统Apple Intelligence的两个人工智能模型是在谷歌设计的云端芯片上进行预训练的。这表明,在训练尖端人工智能方面,大型科技公司正在寻找英伟达以外的替代品。  不断迭代的谷歌TPU芯片  随着机器学习算法,特别是深度学习算法在各个领域的广泛应用,对于高效、低功耗的AI计算硬件需求日益增长。传统的CPU和GPU在处理这些算法时存在效率较低的问题,促使谷歌等科技巨头开始探索专用AI加速芯片的研发。       谷歌在2015年左右开始规划开发新的专用架构处理器,旨在优化机器学习算法中的张量运算执行过程。经过快速迭代和研发,谷歌于2016年发布了首个TPU版本(TPU v1),专门用于大规模机器学习加速。       TPU v1部署于数据中心,用于加速神经网络的推理阶段。拥有65536个8-bit MAC(矩阵乘单元),峰值性能为92 TOPS(每秒万亿次操作),以及28 MiB的片上内存空间。相比于CPU和GPU,TPU v1在响应时间和能效比上表现出色,能够显著提升神经网络的推理速度。       随着技术的不断进步,谷歌相继推出了多个TPU版本,不断提升性能和功能。例如,TPU v2和TPU v3被设计为服务端AI推理和训练芯片,支持更复杂的AI任务。TPU v4则进一步增强了扩展性和灵活性,支持大规模AI计算集群的构建。       在面对争议和质疑后,谷歌推出了TPU v5e版本。TPU v5e在架构上进行了调整,采用单TensorCore架构,并在INT8峰值算力上有所提升。尽管在BF16峰值算力上略低于前代版本,但TPU v5e更适用于推理任务,并体现了谷歌在AI算力服务市场的战略选择。       在今年5月的I/O开发者大会上,谷歌又发布了第六代张量处理单元 (TPU) ,称为Trillium。Trillium TPU 可以更快地训练下一波基础模型,并以更少的延迟和更低的成本为这些模型提供服务。至关重要的是,Trillium TPU 的能效比 TPU v5e 高出 67% 以上。       值得一提的是,Trillium 可以在单个高带宽、低延迟 Pod 中扩展到多达 256 个 TPU。除了这种 Pod 级可扩展性之外,借助多切片技术和Titanium 智能处理单元 (IPU ),Trillium TPU 还可以扩展到数百个 Pod,从而连接建筑物级超级计算机中的数万个芯片,这些芯片通过每秒数 PB 的速度互连数据中心网络。       谷歌表示,Trillium TPU 将为下一波 AI 模型和代理提供动力,包括自动驾驶汽车公司Nuro、药物发现公司Deep Genomics、德勤等企业也采用其TPU产品进行应用。  越来越多企业使用谷歌TPU芯片满足AI计算  据谷歌官方信息,其最新TPU的运行成本每小时不足2美元,但客户需提前三年预订以确保使用。自2015年专为内部工作负载设计的TPU问世以来,谷歌于2017年将其向公众开放,如今,TPU已成为人工智能领域最为成熟和先进的定制芯片之一。       谷歌在其多个设施中使用了自研的TPU(Tensor Processing Unit)芯片。谷歌云平台广泛使用了TPU芯片来支持其AI基础设施。这些芯片被用于加速机器学习模型的训练和推理过程,提供高性能和高效的计算能力。通过谷歌云平台,用户可以访问到基于TPU芯片的虚拟机实例(VM),用于训练和部署自己的机器学习模型。       除此之外,已经有多家公司使用谷歌的TPU芯片,如苹果,苹果在最新发表的技术论文中承认,公司采用了谷歌张量处理单元(TPU)训练其人工智能模型。       在周一发布的技术论文中,苹果详细介绍为支持苹果个人智能化系统Apple Intelligence而开发了一些基础语言模型,包括一个用于在设备上高效运行的约30亿参数模型——端侧“苹果基础模型”(AFM),以及一个为苹果云端AI架构“私有云计算”(Private Cloud Compute)而设计的大型服务器语言模型——服务器AFM。       苹果披露,训练模型采用了谷歌研发的第四代AI ASIC芯片TPUv4和更新一代的芯片TPUv5。苹果在8192块TPUv4 芯片上从无到有训练服务器AFM,使用4096的序列长度和4096个序列的批量大小,进行6.3万亿token训练。端侧AFM在2048块TPUv5p芯片上进行训练。       此外,Anthropic这家被誉为“OpenAI劲敌”的人工智能初创公司,据悉是谷歌TPU芯片的早期用户之一。Anthropic使用谷歌Cloud TPU v5e芯片为其大语言模型(LLM)Claude提供硬件支持,以加速模型的训练和推理过程。Hugging Face和AssemblyAI这两家同样在人工智能领域备受瞩目的初创公司也在大规模使用谷歌TPU芯片来支持其AI应用。       另外,许多科研机构也在使用谷歌TPU芯片来支持其AI相关的研究项目。这些机构可以利用TPU芯片的高性能计算能力来加速实验过程,推动科研进展。一些教育机构也将谷歌TPU芯片用于教学和培训目的,帮助学生和研究人员学习和掌握机器学习技术。  写在最后  长期以来,英伟达的高性能GPU在高端人工智能模型训练市场占据主导地位,包括OpenAI、微软、Anthropic在内的多家科技公司纷纷采用其GPU来加速模型训练。但在过去几年里,英伟达GPU始终供不应求,为此谷歌、Meta、甲骨文及特斯拉等企业都在自研芯片,以满足各自人工智能系统与产品开发的需求。       不仅如此,如谷歌,虽然TPU最初是为内部工作负载而创建,而其凭借着诸多优势,现在正得到更广泛的应用。随着人工智能技术的不断发展和市场的不断扩大,未来可能会有更多的企业选择使用谷歌TPU芯片来满足其AI计算需求。
关键词:
发布时间:2024-07-31 10:54 阅读量:373 继续阅读>>
<span style='color:red'>苹果</span>M5芯片首度曝光:台积电代工 用于人工智能服务器
消息称台积电明年为<span style='color:red'>苹果</span>量产2nm芯片
消息称<span style='color:red'>苹果</span>自研Wi-Fi芯片或无缘iPhone 17
关键词:
发布时间:2023-12-26 16:24 阅读量:1392 继续阅读>>
<span style='color:red'>苹果</span>或放弃自主研发5G调制解调器芯片
<span style='color:red'>苹果</span>仅第二,2023年Q3手机全球智能手机出货量为2.96亿部
  根据TechInsights发布的最新数据显示,2023年Q3全球智能手机出货量为2.96亿部,同比下降0.3%,智能手机销量连续第九个季度出现年度下滑。  2023年第三季度全球智能手机TOP5品牌分别是:三星出货量为5950万部,市场份额为20%,同比下滑7.6%;苹果出货量为4660万部,市场份额为15.7%,同比下滑3.9%;小米出货量为4150万部,市场份额为14.0%,同比增长2.5%;OPPO出货量为2770万部,市场份额为9.3%,同比下滑5.8%;传音出货量为2640万部,市场份额为8.9%,同比增长39.7%;  其余品牌中,vivo排名第六,智能手机出货量在2023年Q3同比下降17%;荣耀手机得益于中国市场的强劲表现,本季度的市场份额为5%;realme保持第八位,本季度的市场份额接近5%;联想-摩托罗拉在本季度以4%的市场份额排名第九,同比增长11%;华为排名榜单第十,本季度出货量同比增长44%。  TechInsights表示,(智能手机)年降幅已经大幅放缓,从上一季度的-8%降至本季度的-0.3%,这表明可能已经触底,并将在2024年出现温和反弹。加上正常的库存水平和终端用户需求的改善,以及三星和苹果等主要厂商的新产品发布周期,全球智能手机市场在该季度已经稳定下来。  值得一提的是,全球排名前十的智能手机品牌中,有8个是中国品牌,其中小米、传音、荣耀、联想-摩托罗拉和华为5家厂商实现了年正增长率,所有这些中国品牌合计实现了5%的年增长率。
关键词:
发布时间:2023-11-09 14:19 阅读量:1991 继续阅读>>
<span style='color:red'>苹果</span>CEO库克造访恩智浦埃因霍恩总部
<span style='color:red'>苹果</span>MR处理器由台积电独家代工
<span style='color:red'>苹果</span>A17处理器性能单核提升59%
<span style='color:red'>苹果</span>一供应商在印度的工厂失火,约一半机器被损毁

跳转至

/ 22

  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
TL431ACLPR Texas Instruments
BD71847AMWV-E2 ROHM Semiconductor
MC33074DR2G onsemi
RB751G-40T2R ROHM Semiconductor
CDZVT2R20B ROHM Semiconductor
型号 品牌 抢购
STM32F429IGT6 STMicroelectronics
BU33JA2MNVX-CTL ROHM Semiconductor
TPS63050YFFR Texas Instruments
BP3621 ROHM Semiconductor
IPZ40N04S5L4R8ATMA1 Infineon Technologies
ESR03EZPJ151 ROHM Semiconductor
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
关于我们
AMEYA360商城(www.ameya360.com)上线于2011年,现有超过3500家优质供应商,收录600万种产品型号数据,100多万种元器件库存可供选购,产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+连接器等多个领域,平台主营业务涵盖电子元器件现货销售、BOM配单及提供产品配套资料等,为广大客户提供一站式购销服务。